人工知能の分野では、時系列モデリングは静的なスナップショットから 時間的なストリームに焦点を移す。標準的な機械学習タスクは、通常、データポイントが 独立かつ同一分布（IID）であると仮定しており、サンプルの順序が結果に影響しないことを意味する。

時系列モデリングはこれを明確に拒否し、3つの核心的柱に注目する：

• 破壊された 順列不変性：表形式のデータでは、列の順序は任意である。時系列では、順序が主な特徴となる。"猫がネズミを食べた"という文を"ネズミが猫を食べた"に交換すると、 意味論的な真実 同じトークンでも、意味が根本的に変わる。
• 自己回帰的 特性：我々は、時刻 $t$ における観測値が、過去の履歴（$t-1, t-2, \dots, 1$）に数学的に条件づけられていると仮定する。これにより、情報の進化を捉えるための遷移確率が必要となる。
• 可変長マッピング：28×28ピクセルの固定グリッドとは異なり、文章や地震波などの時系列は 伸縮性がある。モデルは長さ $N$ の入力を処理し、長さ $M$ の出力を生成する必要があり、一貫したパラメータを使用しなければならない。